Địa danh Lầu Ông Hoàng còn gắn với tên tuổi nhà thơ Hàn Mạc Tử - bởi lẽ Lầu Ông Hoàng từng là nơi hẹn hò và ngắm trăng của Hàn Mạc Tử với Mộng Cầm - người tình của nhà thơ. Nhà thơ Hàn Mạc Tử có nhiều bài thơ nói về nơi này, nổi tiếng là bài "Phan Thiết Phan Thiết" với những vần thơ lạ kỳ, ý thơ thống thiết. Trong bài thơ này, ông ví mình như chim phượng hoàng, bay qua nhiều cung trời để rồi rớt xuống một cù lao, sau nhiều năm tu luyện đã thành chánh quả, ông theo thất tinh chỉ hướng để đi tìm một người thục nữ và ông:

Tương truyền, Hàn Mặc Tử đã phóng bút tích của mình lên tấm bia đá tại Lầu ông Hoàng, tuy nhiên, di tích đó hiện nay chỉ còn là đống gạch vụn. Người ta cũng cho rằng, khi Hàn Mặc Tử đi dạo với bà Mộng Cầm ở lầu Ông Hoàng, qua một cái nghĩa địa (nay là nghĩa trang Thành phố Phan Thiết) có một ngôi mộ mới an táng thì gặp trời mưa. Bỗng ông phát hiện ra từng đốm đỏ bay lên từ ngôi mộ. Sau đó ông về nhà nghỉ, để rồi sớm mai ông phát hiện ra mình như vậy. Đó là trực khuẩn Hansen gây nên bệnh phong cùi cho ông.

Trong ca khúc "Hàn Mặc Tử" của nhạc sĩ Trần Thiện Thanh cũng có nhắc đến Lầu Ông Hoàng: "Lầu Ông Hoàng đó, thuở nào chân Hàn Mặc Tử đã qua. Ánh trăng treo nghiêng nghiêng, bờ cát dài thêm hoang vắng...".